Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures
根因归因是一个搜索问题:面向长时程 Agent 失败的持续搜索
🧭 Agent 失败根因归因与持续搜索
Scale AI
提出 Continual Search 迭代框架,通过多轮唤醒 LLM 法官持续搜索未解决证据,显著提升长轨迹 Agent 失败根因归因 F1
📌 工作参考价值(4 点)
- 诊断长流程 Agent/推荐链路失败时,不要依赖一次性 LLM 判断;把 RCA 改造成多轮搜索,每轮强制模型找出“尚未解释的证据”,直到证据链闭环。
- 与其堆大模型,不如把搜索过程做扎实:论文显示同模型家族内低阶模型配合 Continual Search 可反超高阶模型,成本可控且效果更好。
- 业务上可用于电商 Agent 执行日志、广告投放链路、搜索推荐多阶段 pipeline 的故障归因:失败信号通常稀疏且跨步骤,需要主动回溯而不是只看最后一步。
- 建议构建类似 MegaRCA-Mix 的长时程、执行密集型测试集,用真实人工标注的失败 trial 评估诊断能力,避免只测短轨迹造成虚假达标。